与标准动态范围（SDR）视频相比，高动态范围（HDR）视频可以代表更大的亮度和色彩范围，并且正迅速成为行业标准。与传统SDR视频相比，HDR视频具有更具挑战性的捕获，传输和显示要求。凭借其更大的深度，高级的电流传输功能以及更广泛的颜色范围，因此需要专门设计用于预测HDR视频质量的视频质量算法。为此，我们介绍了HDR视频的首次公开发布的大规模主观研究。我们研究扭曲的影响，例如压缩和混叠对HDR视频质量的影响。我们还通过在黑暗实验室环境和更明亮的客厅环境中进行研究来研究环境照明对HDR视频感知质量的影响。总共有66名受试者参加了这项研究，并收集了20,000多个意见分数，这使得这成为有史以来最大的HDR视频质量研究。我们预计，该数据集将成为研究人员为HDR视频开发更好的感知质量模型的宝贵资源。
translated by 谷歌翻译
与常规知识蒸馏（KD）不同，自我KD允许网络在没有额外网络的任何指导的情况下向自身学习知识。本文提议从图像混合物（Mixskd）执行自我KD，将这两种技术集成到统一的框架中。 Mixskd相互蒸馏以图形和概率分布在随机的原始图像和它们的混合图像之间以有意义的方式。因此，它通过对混合图像进行监督信号进行建模来指导网络学习跨图像知识。此外，我们通过汇总多阶段功能图来构建一个自学老师网络，以提供软标签以监督骨干分类器，从而进一步提高自我增强的功效。图像分类和转移学习到对象检测和语义分割的实验表明，混合物KD优于其他最先进的自我KD和数据增强方法。该代码可在https://github.com/winycg/self-kd-lib上找到。
translated by 谷歌翻译
基于深度学习的模型占主导地位的生产推荐系统的当前景观。此外，近年来目睹了模型规模的指数增长 - 从谷歌的2016年模型，最新的Facebook的型号有10亿个参数，具有12万亿参数。型号容量的每次跳跃都有显着的质量增强，这使我们相信100万亿参数的时代即将来临。然而，即使在工业规模数据中心内，这些模型的培训也在挑战。这种困难是从训练计算的惊人的异质性继承 - 模型的嵌入层可以包括总模型尺寸的99.99％，这是极其内存密集的;虽然其余的神经网络越来越多地计算密集型。为支持培训此类巨大模式，迫切需要有效的分布式培训系统。在本文中，我们通过仔细共同设计优化算法和分布式系统架构来解决这一挑战。具体而言，为了确保培训效率和训练精度，我们设计一种新型混合训练算法，其中嵌入层和密集的神经网络由不同的同步机制处理;然后，我们构建一个名为Persia的系统（短暂的并行推荐培训系统，其中包含混合加速），以支持这种混合培训算法。理论上的示范和实证研究均达到100万亿参数，以证明了波斯的系统设计和实施。我们将Pensia公开使用（在https://github.com/persiamml/persia），以便任何人都能够以100万亿参数的规模轻松培训推荐模型。
translated by 谷歌翻译
多元时间序列（MTS）预测在广泛的应用中起着至关重要的作用。最近，由于其最先进的性能，空间 - 周期性图神经网络（STGNN）已成为越来越流行的MTS预测方法。但是，随着绩效的有限改善，最近的工作变得越来越复杂。这种现象激发了我们探索MTS预测和设计模型的关键因素，该模型与STGNN一样强大，但更简洁，效率更高。在本文中，我们将样品在空间和时间维度中的不可区分性确定为关键瓶颈，并通过连接空间和时间身份信息（STID）提出了一个简单而有效的MTS预测基线，该信息可同时实现最佳性能和效率基于简单的多层感知器（MLP）。这些结果表明，只要它们解决样品的不可区分性，而无需限于STGNN，我们就可以设计高效有效的模型。
translated by 谷歌翻译
为了成功推荐（SR）成功，最近的作品着重于设计有效的顺序编码器，融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态，因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果，该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的，因为内容的负面项目与动态变化的兴趣和模型参数相关（并且抽样过程也应该是有效的）。为此，我们建议为SR（Genni）生成负样本（项目）。根据当前SR模型对项目的学习用户偏好，在每个时间步骤中都采样了负项目。提出了有效的实施，以进一步加速生成过程，使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性，并证明了Genni的有效性和效率。
translated by 谷歌翻译
无监督的时间序列异常检测对各种域中目标系统的潜在故障有助于。当前的最新时间序列异常检测器主要集中于设计高级神经网络结构和新的重建/预测学习目标，以尽可能准确地学习数据正常（正常模式和行为）。但是，这些单级学习方法可以被训练数据中未知异常（即异常污染）所欺骗。此外，他们的正常学习也缺乏对感兴趣异常的知识。因此，他们经常学习一个有偏见的，不准确的正态边界。本文提出了一种新型的单级学习方法，称为校准的一级分类，以解决此问题。我们的单级分类器以两种方式进行校准：（1）通过适应性地惩罚不确定的预测，这有助于消除异常污染的影响，同时强调单级模型对一级模型有信心的预测，并通过区分正常情况来确定（2）来自本机异常示例的样本，这些样本是根据原始数据基于原始数据模拟真实时间序列异常行为的。这两个校准导致耐污染的，异常的单级学习，从而产生了显着改善的正态性建模。对六个现实世界数据集进行的广泛实验表明，我们的模型大大优于12个最先进的竞争对手，并获得了6％-31％的F1分数提高。源代码可在\ url {https://github.com/xuhongzuo/couta}中获得。
translated by 谷歌翻译
无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。
translated by 谷歌翻译
多元时间序列（MTS）预测在广泛的应用中起着至关重要的作用。最近，时空图神经网络（STGNN）已成为越来越流行的MTS预测方法。 STGNN通过图神经网络和顺序模型共同对MTS的空间和时间模式进行建模，从而显着提高了预测准确性。但是受模型复杂性的限制，大多数STGNN仅考虑短期历史MTS数据，例如过去一个小时的数据。但是，需要根据长期的历史MTS数据来分析时间序列的模式及其之间的依赖关系（即时间和空间模式）。为了解决这个问题，我们提出了一个新颖的框架，其中STGNN通过可扩展的时间序列预训练模型（步骤）增强。具体而言，我们设计了一个预训练模型，以从非常长期的历史时间序列（例如，过去两周）中有效地学习时间模式并生成细分级表示。这些表示为短期时间序列输入到STGNN提供了上下文信息，并促进了时间序列之间的建模依赖关系。三个公共现实世界数据集的实验表明，我们的框架能够显着增强下游STGNN，并且我们的训练前模型可恰当地捕获时间模式。
translated by 谷歌翻译
我们都取决于流动性，车辆运输会影响我们大多数人的日常生活。因此，预测道路网络中流量状态的能力是一项重要的功能和具有挑战性的任务。流量数据通常是从部署在道路网络中的传感器获得的。关于时空图神经网络的最新建议通过将流量数据建模为扩散过程，在交通数据中建模复杂的时空相关性方面取得了巨大进展。但是，直观地，流量数据包含两种不同类型的隐藏时间序列信号，即扩散信号和固有信号。不幸的是，几乎所有以前的作品都将交通信号完全视为扩散的结果，同时忽略了固有的信号，这会对模型性能产生负面影响。为了提高建模性能，我们提出了一种新型的脱钩时空框架（DSTF），该框架以数据驱动的方式将扩散和固有的交通信息分开，其中包含独特的估计门和残差分解机制。分离的信号随后可以通过扩散和固有模块分别处理。此外，我们提出了DSTF的实例化，分离的动态时空图神经网络（D2STGNN），可捕获时空相关性，还具有动态图学习模块，该模块针对学习流量网络动态特征的学习。使用四个现实世界流量数据集进行的广泛实验表明，该框架能够推进最先进的框架。
translated by 谷歌翻译
孤立森林（Iforest）近年来已经成为最受欢迎的异常检测器。它迭代地在树结构中执行轴平行的数据空间分区，以将偏差的数据对象与其他数据隔离，并且定义为异常得分的对象的隔离难度。 iForest在流行的数据集基准中显示出有效的性能，但其基于轴平行的线性数据分区无效地处理高维/非线性数据空间中的硬异常，甚至更糟糕的是，它导致了臭名昭著的算法偏见。为人工制品区域分配了出乎意料的较大的异常得分。有几个扩展的Iforest，但它们仍然专注于线性数据分区，无法有效地隔离这些硬异常。本文介绍了iforest，深层隔离森林的新型扩展。我们的方法提供了一种综合的隔离方法，可以在任何大小的子空间上任意将数据任意划分数据，从而有效地避免了线性分区中的算法偏置。此外，它仅需要随机初始化的神经网络（即，我们的方法中不需要优化）来确保分区的自由。这样一来，可以完全利用基于网络的随机表示和基于随机分区的隔离的所需随机性和多样性，以显着增强基于隔离集合的异常检测。此外，我们的方法还提供了数据型 - 敏捷的异常检测解决方案。通过简单地插入功能映射中的随机初始化的神经网络来检测不同类型数据中的异常。大量现实数据集的广泛经验结果表明，我们的模型对基于最新的隔离和基于非异常的异常检测模型有了显着改善。
translated by 谷歌翻译